ECCV 2022｜还在想办法提升人脸防伪泛化吗，仅依靠人脸系统的现有知识就可以大幅提升其性能

用微信扫码二维码

分享至好友和朋友圈

在人脸识别系统中，通常会在人脸识别模块之前设置一个独立的人脸防伪模块，用于保障系统安全性。由于真实场景中的人脸伪造攻击的方式多种多样，无法全面收集，这种高度依赖于有限训练集的学习型方法很难对所有攻击方式进行预测，不能有效地推广到未知的攻击中。

与人脸防伪任务不同，其他人脸相关任务（例如人脸识别和属性编辑），由于通过大量真实人脸的训练，对不同场景的应用具有很强的泛化能力。受此启发，本文工作提出在人脸系统中更换人脸防伪模块和人脸相关任务的位置，把人脸相关任务中免费获得的先验知识服务于人脸表征攻击检测任务，从而提高其泛化性能。

一、 背景

人脸识别技术凭借其方便快捷和无接触认证的优点，广泛应用于身份验证应用。但是现有人脸识别技术在人为的表征攻击（presentation attacks, PAs）下极其脆弱，例如使用照片、视频回放、低成本人造面具和面部化妆攻击就可以轻易欺骗人脸识别算法。同时，随着互联网和社交软件的发展，人脸图像可以很容易地获取，这进一步增加了人脸识别系统被攻击的风险。这些问题引起了人们对面部识别技术安全性的广泛关注。

为解决上述问题，现有方案往往使用一个单独的表征攻击检测（即人脸防伪）模块，在识别前检测输入数据是否为攻击数据（PAs）或真实人脸数据（Bona fides），来提高系统的安全性。

二、动机

人脸防伪模块往往需要数量相当的攻击样本和真实人脸进行训练。但是，攻击样本的种类多种多样，很难全面收集，导致训练数据中二者分布不平衡。现有检测算法高度依赖于有限的训练集，无法对未知的表征攻击实现良好的泛化和推广。如图1(a)所示，在传统的人脸系统中，现有的人脸防伪模块（PA Detector）总是出现在人脸相关任务之前，并且相互独立。

与人脸表征攻击检测任务不同，基于人脸的其他常见相关任务（例如，人脸识别和属性编辑）具有强大的泛化能力，因为它们是由大量（数百万）跨性别、年龄和种族的人脸数据训练的。然而，研究人员很少在人脸系统中将人脸防伪算法与人脸相关任务联系起来。由于人脸相关任务已经被训练，我们认为在人脸系统中，将免费获得的人脸相关任务的先验知识服务于人脸表征攻击检测任务，应该会提升其泛化性能。

如图 1（b）所示，我们直接在人脸系统中把训练好且参数固定的人脸相关任务模型得到的特征用于人脸表征攻击检测，使其在真实场景中得到更泛化的推广。

图1. 传统人脸系统使用表征攻击检测器(a)和本文所提方案(b)示意图。

三、贡献

团队提出了一种利用人脸相关任务的特征级先验知识的表征攻击检测方法。 首先，我们交换了表征攻击检测（人脸防伪）模块和人脸相关任务在人脸系统中的位置。 从人脸相关任务中直接获得的任务特定特征包含丰富的泛化知识，通过使用基于图神经网络（GNN）的跨模态适应器，将任务特定特征重新映射并使其适应 PAD 任务。 本文所提方法通过缓解训练中攻击样本有限的问题，最终提高了模型的泛化能力。

四、算法细节

如图 2 所示，所提出方法由两个分支组成，包括基于 CNN 的 PA 检测器和一个辅助分支。PA 检测器通过直接从图像空间中提取特征来区分攻击样本和真实人脸之间的差异。辅助分支旨在从训练好的人脸相关任务模型中提取人脸相关特征。

在辅助分支中，我们首先从人脸相关任务模型的多个网络层中分层地获得任务特定特征（Task Specific Features）。然后，我们设计了一个基于 GNN 的跨模态适应器，以适应 PAD 任务。来自两个分支的特征将被完全融合输入到分类器中，用于最终的 PAD。

图2. 本文所提基于人脸相关任务的PAD方法（FRT-PAD）框架图。

设 为训练集中的人脸数据， 为通过人脸相关任务训练完成的网络（权重在训练中保持不变）。如图2所示， 将 编码到任务特定特征 ，其中 是指从第 层提取的特征图。

图3. 跨模态适应器 (Cross-Modal Adapter)流程图。

由于 在训练中权重不更新，为减少特征 可能包含与PAD任务不相关的信息，我们提出了一种跨模态适应器重新映射特征到PAD任务中。考虑到任务特定的特征是非结构化的，我们采用图神经网络，记为 来，处理任务特定特征 。 表示图的顶点特征。 是连接相邻顶点的图的边缘矩阵，由公式(1)给出：

给定两个图顶点 和 ， 表示它们之间存在无向边。为了在 中正确构建相邻 顶点，需要利用 之间的关系。由于 是由 逐层提取的，因此任务特定特征 可以作为一个序列执行。我们提出了两种潜在的的图结构以探究 的合理利用，分别为Step-by-Step Graph和Dense Graph，如图3所示。

然而，矩阵 只能反映每个 的连接，不同 的重要程度未知。因此，我们采用图注意力神经网络（GAT）来找出相邻顶点对中心顶点的贡献。更重要的顶点特征将获得更大的权重。连接图顶点的相对权重可以通过以下公式计算：

其中 为共享注意力参数。共享可学习的权重矩阵 用于实现图卷积运算，其可以将每个顶点 映射到高维度特征。 代表图顶点V的注意力矩阵。然后，我们使用softmax对 归一化：

给定两个相连顶点点 和 ， 和 衡量它们之间的连接强度系数。对于一层注意力网络，可以获得具有注意力权重的顶点特征为：

对于Step-by-Step Graph，两个图顶点 和 通过单个边顺序连接。在Dense Graph中，不同的图顶点是完全连接的。通过多层图嵌入 ，得到变换特征 。我们将潜层特征视为增强 表征的注意力权重。通过平均池化运算以及 ，可以计算潜层特征的注意力权重 。最终人脸相关特征 。

为了在人脸PAD任务中引入人脸相关特征，本文使用PA检测器 来学习PAD特征 。然后，通过将PAD特征 和人脸相关特征 拼接起来得到分层特征 。在分类器 中输入 ，就可以有效地区分真实人脸和表征攻击样本。在训练过程中， 、 和 通过交叉熵进行如下训练：

五、实验评估

1）数据集：

OULU-NPU (O)、CASIA-FASD (C)、Idiap Replay-Attack (I)、MSU-MFSD (M)

2) 评估指标：

Half Total Error Rate (HTER),

Area Under Curve (AUC),

Bona Fide Presentation Classification Error Rate (BPCER) (when Attack Presentation Classification Error Rate is 1%)

3) 基于人脸相关任务的PAD性能对比：

本文使用以下五种不同的常见人脸相关任务模型作为辅助分支网络 ：人脸识别（Face Recognition, ），人脸表情识别（Face Expression Recognition, ），人脸检测（Face Detection, ），人脸定位（Face Localisation, ），人脸属性编辑（Face Attribution Editing, ）。如表1所示，不同的人脸相关任务都可以显著提升PA检测器（Baseline）的检测性能。例如， 为人脸属性编辑模型时，所提方法在使用C, I数据集训练，O, M数据集测试中的HTER仅为13.18%，AUC可以达到94.36%。

表1. FRT-PAD使用不同人脸相关任务时的性能。

4) 与SOTA方法的性能对比

如表2所示，在三个数据集作为训练集，剩余一个数据集作为测试集时，本文方法可以取得SOTA效果。其中，使用O, C, I数据集训练，M测试时，本文方法HTER可以达到5.71%，显著提升了PAD性能。

表2.三个数据集作为训练集时的跨数据集PAD性能对比。

为增加实验难度，我们减少训练集数量，仅使用两个数据集作为训练集，剩余一个作为测试集。如表3所示，本文方法仍然可以达到SOTA效果。

表3.两个数据集作为训练集时的跨数据集PAD性能对比。

我们认为上述实验验证了本文方法与训练所需数据的依赖程度较低，并且本文方法可以有效增强PAD模块的泛化性能。

六、可视化结果

图. 4. 在CASIA-FASD数据集上的Grad-CAM可视化结果。

我们进一步使用Grad-CAM对本文FRT-PAD模型中PA检测器 和三种人脸相关任务网络 得到的特征图进行可视化。跨模态适应器使用Step-by-Step Graph。如图4所示，当使用人脸相关特征时，该模型可以找到Bona fide样本和PA样本的辨别特征。在从 获得的可视化区域中，显示头发、眼睛、鼻子和嘴巴对于区分真实人脸和表征攻击十分重要。这进一步表明了人脸相关任务特征的有效性。

Illustration by Delesign Graphics from IconScout

-TheEnd-

本周上新！

扫码观看！

多家技术企业招聘来啦！

多家技术企业招聘来啦！有求必应的小将收集到来自TechBeat技术社群内技术企业的招人需求，包含来自科技大厂微软亚研、腾讯、小红书等企业，科技明星公司始途科技、梅卡曼德等企业的算法工程师等正式及实习岗位，欢迎有需求的大家向这些公司投递简历哦！

扫描了解详情~

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

[email protected]

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.